Xa lộ liên tiểu bang 84 chạy dọc vành phía đông của Thành phố Baker trong khi Quốc lộ Hoa Kỳ 30 đi ngang qua khu phố chính của nó. Lộ Oregon 7 rời Thành phố Baker đi về miền nam của thành phố Sumpter và xa hơn ra ngoài. Lộ Oregon 86 hướng về bắc và đông qua Trung tâm Dẫn giải Lịch sử Quốc gia Đường mòn Oregon (National Historic Oregon Trail Interpretive Center) và tiếp tục về các thành phố Richland và Halfway.

Theo Cục Điều tra Dân số Hoa Kỳ, thành phố có tổng diện tích là 17,9 km² (6,9 mi²), tất cả là đất.

Thành phố nằm trong một thung lũng giữa Vùng núi Wallowa về phía bắng và Dãy Elkhorn, một phần của Vùng núi Blue về phía tây, với sông Powder (Oregon) chạy qua trung tâm phố chính trên đường tới sông Rắn (Snake River).